BALMS: Benchmarking Agentic LLMs for Longitudinal Mental Health Sensing
BALMS：长期心理健康感知的智能体 LLM 基准测试
🧭 LLM Agent 在纵向时序健康感知的评测
Dartmouth College · University of Cambridge
首个系统性基准，评估 LLM Agent 从长期可穿戴信号预测心理健康得分并生成有理据解释的能力
📌 工作参考价值（4 点）
- 在电商/推荐场景，用户行为序列同样长且稀疏，零样本 LLM 直接预测数值型指标（如 CTR、GMV、复购率）可能不如简单均值或周期基线；上线前必须用域内基线严格对比，避免高估 LLM 能力。
- 将原始时间序列压缩为紧凑的语义化特征（如“活跃度”“睡眠质量”）能显著提升 LLM Agent 的推理效果，同时降低上下文长度；可借鉴到用户行为序列的语义摘要，再交给 LLM 做归因或策略生成。
- CoT 对推理型骨干有增益，但不保证时间定位和数值正确性；在 Agent 设计中应加入强制检索步骤、外部工具校验或硬约束，而非仅依赖模型自我解释。
- LLM-as-Judge 可用于自动评估生成式解释的质量，但需将其与数值预测准确率解耦，因为 LLM 可能对流畅但事实错误的 rationale 给出高分；建立多维评估体系可迁移到推荐解释、诊断报告等场景。